ค.ศ. 1949 รัสเซียประสบความสำเร็จในการสร้างระเบิดปรมาณู และโลกเข้าสู่ภาวะสงครามเย็น บรรดานักการเมืองและนักวิทยาศาสตร์ของสหรัฐหลายคน เช่น Lewis Strauss ประธานของ AEC และ Edward Teller มีความเห็นพ้องกันว่า สหรัฐต้องสร้างระเบิดไฮโดรเจนที่มีพลังในการทำลายมากกว่าระเบิดปรมาณูหลายพันเท่า แต่เขาไม่เห็นด้วย ความขัดแย้งนี้ทำให้เขามีศัตรูเพิ่มขึ้นหลายคน และเขาถูกตั้งข้อกล่าวหาว่า เป็นคอมมิวนิสต์ เพราะน้องชายของเขา Frank Friedman Oppenheimer และภรรยาของเขา Kitty Puenina เป็นสมาชิกของพรรคคอมมิวนิสต์ และเขาเคยถูกดักฟังโทรศัพท์ทั้งที่บ้าน และที่ทำงาน โดย FBI และ CIA อีกด้วย

นอกจากนี้จากประวัติของเขาของตั้งแต่ปี ค.ศ. 1942 พบว่าเขาเป็นคนที่เห็นอกเห็นใจพวกคอมมิวนิสต์ และรัสเซียก็ได้เคยส่งสายลับมาหา ซึ่งขณะนั้นเขากำลังทำงานในโครงการแมนแฮตตัน แต่เขาไม่เคยรายงานกับตำรวจอเมริกันเลยว่า เขาได้สนทนากับสายลับรัสเซีย เมื่อถูกคาดคั้นโดยนายพล Leslie Groves ให้บอกชื่อสายลับ และถ้าไม่บอก เขาต้องลาออกจากการเป็นผู้อำนวยการวิทยาศาสตร์ในโครงการแมนแฮตตัน เมื่อถูกรุกฆาตเขาจึงบอกชื่อคนที่มาพบว่าชื่อ Haakon Chevalier ผู้เป็นศาสตราจารย์ภาษาอังกฤษแห่งมหาวิทยาลัยแคลิฟอร์เนีย เบิร์กลีย์ ซึ่งได้รู้จักกันมาตั้งแต่ปี ค.ศ. 1938 การเปิดเผยชื่อทำให้ Chevalier ล่มจม เพราะถูกสอบสวนและตกงาน แต่เขาเป็นไท และได้ทำงานต่อจนสหรัฐมีระเบิดปรมาณูในครอบครอง

เมื่อมีประวัติด่างพร้อยเช่นนี้ และมีศัตรูทั้งทางทหารและทางวิชาการจำนวนมาก ในปี ค.ศ. 1954 เขาจึงถูกปลดออกจากราชการในข้อหาเป็นบุคคลอันตรายที่ไม่เหมาะสมจะเป็นข้าราชการทำงานป้องกันประเทศอีกต่อไป โดยประธานาธิบดีดไวต์ ดี. ไอเซนฮาวร์